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JULIO CÉSAR De los espíritus 
GUANCHE En 2021 un hombre, P 
oscuros a la 
afroamericano, fue arrestado en ] . % 
REA MEA EOMMIENT años hipersexualizació! 
Michigan, y esposado frente a su casa 
del hombre 
negro. 
Imaginarios de 
violencia y 
racismo en la 
práctica del 


delante de su familia. La orden de 
detención fue generada por un 
sistema de Inteligencia Artificial (IA), 
que identificó al sujeto como el 
comisor de un hurto. La lA había sido 
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SHARE 


entrenada mayoritariamente con 
rostros blancos, y erró por completo al 
identificar al infractor. Probablemente, 
haya sido el primer arresto injusto de 
su tipo. 


Ese mismo año, en Holanda 26 mil 
familias fueron acusadas de fraude. El 
dato en común entre ellas era poseer 
algún origen migrante. El hecho llevó a 
la ruina a miles de inocentes, que 
perdieron casas y trabajos, obligados 
a devolver dinero de la asistencia 


social. 


Se trataba de un error que generó una 
“injusticia sin precedentes” en ese país. 
El gabinete renunció ante el 
escándalo. El diagnóstico del supuesto 
fraude lo elaboró una lA. 


La lA: utopías y 
distopías dataístas 


Por más novedosa que sea la IA, no es 
nuevo el lugar de las matemáticas en 


el procesamiento de asuntos sociales. 


La filosofía rebosa de 

utopías dataístas. Para Tomás Moro, la 
instauración de un nuevo método de 
gobierno debía basarse en una 


herramienta que garantizara la 
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excelencia en la administración de los 
negocios: las matemáticas. Con la lA, 
la utopía de “la buena administración 
de las cosas y el buen gobierno de las 
personas”, de Saint-Simon, promete 
una renovada oportunidad a través de 
algoritmos procesados por máquinas, 
no por gusto llamadas “ordenadores”. 


La lA supone la interacción entre 

un software que aprende y se adapta, 
un hardware con poder masivo de 
cómputo, y cantidades ingentes de 
datos. Ha sido definida como “una 
constelación de procesos y 
tecnologías que permiten que las 
computadoras complementen o 
reemplacen tareas específicas que de 
otro modo serían ejecutadas por seres 
humanos, como tomar decisiones y 


resolver problemas”. 


Son muchas sus ventajas: toma de 
decisiones informadas, gestión masiva 
de información, lucha contra la crisis 
climática, restauración de ecosistemas 
y hábitats, retardo de pérdida de 
biodiversidad, eficiente colocación de 
recursos sociales, mejora de ayuda 
humanitaria y de asistencia social, 
diagnósticos y aplicaciones de salud, 
control de flujos de tráfico, etcétera. 


Ahora, las distintas connotaciones 
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políticas de los usos de las 
matemáticas han sido advertidas de 
muchas maneras. Engels le decía a 
Marx en 1881: “Ayer, por fin, encontré 
las fuerzas para estudiar sus 
manuscritos matemáticos y, aunque 
no utilicé libros de apoyo, me alegró 
ver que no los necesitaba. Lo felicito 


por su trabajo. El asunto está tan claro 


como la luz del día, así que no deja de 
extrañarme la forma en que los 
matemáticos insisten en mitificarlo. 
Debe de ser por su manera tan 
partidista de pensar”. 


Karl Popper, el autor de La sociedad 
abierta y sus enemigos, considerada 
la “biblia de las democracias 
occidentales” por Bertrand Rusell —él 
mismo matemático—, comenzó su 
carrera como profesor de 


matemáticas y física. 


El Leviatán, de Thomas Hobbes, un 
programa político de todo punto 
antirrepublicano, decía que un buen 
gobierno procede de la modelización 
sobre una máquina: “este gran 
Leviatán llamado REPÚBLICA o 
ESTADO no es otra cosa que un 


hombre artificial, aunque de estatura y 


fuerza superiores a las del hombre 


natural”. 
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La lA, ese “hombre artificial”, promete 


ser neutral, pero es muchas veces 
parcial: produce así un “leviatán 
algorítmico”. Con frecuencia, opera 
con una caja negra: se conoce la 
información suministrada al algoritmo, 
pero se desconoce el proceso seguido 
por este para alcanzar determinado 
resultado. En esas condiciones, si 
existe discriminación, se ignora si se 
produjo sobre la base de sexo, etnia, 
color de la piel, edad, religión, 


ideología, u otra dimensión. 


Sin cajas negras —en algunos países 
están siendo sometidas a regulación 
legal— sería posible identificar cómo 
un algoritmo discrimina. Por lo 
general, se debe a que la información 
sobre la que se entrenan los 
algoritmos es parcial, o a que estos 


reproducen sesgos discriminatorios 


ocio 
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¡ ¡ ¡ LA TRANSICIÓN 
preexistentes. No es posible obviar que ls ME 
la estructura histórica de la industria E — 


tecnológica está compuesta 
principalmente por hombres blancos, 
de estratos clasistas y marcos 


culturales bastante homogéneos entre 


SÍ. 


No obstante, la discriminación puede 
resultar también intencional. El odio, la 
división y la mentira son buenos para 


los negocios: multiplican los 
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intercambios a monetizar. En este 
campo, la producción de 
discriminación se puede esconder 
bajo secreto empresarial. 


El racismo 
algorítmico 


La noción de “raza” ocupa un papel 
central en la discriminación 


algorítmica. 


De esta centralidad da cuenta 

la Recomendación sobre la Etica de la 
Inteligencia Artificial, primer 
instrumento mundial sobre el tema, 
adoptada en noviembre de 2021 por 
193 Estados miembros de la UNESCO. 
El documento procura, entre otros 
objetivos, asegurar la equidad y la no 
discriminación en la implementación 
de lA, en busca de evitar que se 
perpetúen las desigualdades sociales 
existentes, y de proteger grupos 


vulnerables. 


No hay forma científica de justificar la 
existencia de “razas” humanas. Todos 
los individuos del género humano 
cuentan con 99.99 % de genes y ADN 
idénticos. Los rasgos que determinan 
el aspecto físico de las personas 
obedecen tan sólo a 0.01 % del 
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material genético. El concepto de raza 
es resultado del racismo, no su origen. 


La lA cubre con un manto de ciencia 
su proceder en materia de “raza” 
—asegura que es una variable 
invisible— pero opera muchas veces 
con bases pseudocientíficas. 


El primer empleo formal del término 
“pseudociencia” se registra en 1824, 
para calificar la frenología. Los 
sistemas de reconocimiento facial que 
aseguran predecir peligrosidad, 
características o personalidad a partir 
de fotografías, reproducen lógicas de 
esa pseudociencia. 


Expresión de racismo científico, como 
fueron también la craneometría, la 
demografía racial y la antropología 
criminal, la frenología afirmaba la 
posibilidad de determinar el carácter y 
los rasgos de la personalidad, y de 
tendencias criminales, basándose en 
la forma del cráneo, la cabeza y las 
facciones. Hace bastante cuenta con 


nula validez científica. 


Sin embargo, según Achille Mbembe, 
el importante filósofo camerunés, “los 
nuevos dispositivos de seguridad 
[como el reconocimiento facial con 


uso de lA] vuelven a tener en cuenta 


Con la fuerza de su 
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elementos del pasado en regímenes 
anteriores: regímenes disciplinarios y 
penales del esclavismo, elementos de 
guerras coloniales de conquista y 
ocupación, técnicas jurídico-legales de 
excepción.” 


Hay pruebas a granel de ello. El 
sistema COMPAS, utilizado en Estados 
Unidos para predecir reincidencia en 
delitos, ha sido cuestionado porque los 
acusados afroamericanos sufren el 
doble de probabilidades de ser 
calificados de modo erróneo por el 
sistema. Un mismo curriculum 

vitae tiene 50% de posibilidades más 
de pasar a una entrevista de trabajo si 
el nombre del candidato es 
identificado por el algoritmo como 
europeo-americano, que como 
afroamericano. 


Joy Adowaa Buolamwini, una 
científica informática del 
Massachusetts Institute of Technology 
(MID), a quien Netflix le dedicó el 
documental Coded Bias, ha evaluado 
varios sistemas de reconocimiento 
facial de empresas de vanguardia en 
el ramo. Su conclusión fue que las 
tasas de error en el reconocimiento 
para los hombres de piel más clara 
eran de no más de 1%. A la vez, 
encontró que al tratarse de mujeres 
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facial han sido incapaces de 
reconocer los rostros de Michelle 
Obama, Oprah Winfrey y Serena 
Williams. Twitter no pudo identificar a 
Barack Obama. Un rapero construido 
con Inteligencia Artificial fue 
“despedido” por reproducir 
estereotipos racistas. Tay, una lA 
concebida para tener interacciones 
“cool” con sus usuarios, en menos de 
24 horas pasó de decir que los 
humanos eran “súper guay” a decir 
que “Hitler no hizo nada malo”. 
Personas de color de piel negro 
pueden no recibir en Facebook 
publicidad de venta de casas. 


¿Es racista la lA? 


Dejemos responder la pregunta a 
ChatGpts: 


65] — Sí, la Inteligencia artificial (1A) puede ser racista si ha sido entrenada con datos que 
contienen prejuicios o discriminación racial. La lA aprende a través del procesamiento de 
grandes cantidades de datos y, si esos datos contienen prejuicios o discriminación, la lA 
puede replicar esos mismos prejuicios y discriminación en sus decisiones y resultados 


Por ejemplo, si un algoritmo de aprendizaje automático se entrena con datos que 
subrepresentan a clertos grupos raciales, es posible que la lA aprenda a hacer predicciones 
sesgadas y discriminatorias. De manera similar, sl el conjunto de datos utilizado para 
entrenar la lA contiene estereotipos raciales, es posible que la lA reproduzca esos mismos 


estereotipos. 


Es importante señalar que la lA no tiene intenciones ni emociones y no puede ser racista de 
manera consciente como las personas. Sin embargo, las decisiones y resultados sesgados 
de la lA pueden tener consecuencias discriminatorias en la vida real, lo que hace que sea 
crucial abordar el problema del sesgo y la discriminación en los algoritmos de aprendizaje 
automático y mejorar la calidad de los datos utilizados para su entrenamiento. 


'S Regenerate response 


La lA es tan buena como los datos que 
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procesa. Un modelo de algoritmo mal 
diseñado difunde sesgos a escala. Al 
mismo tiempo, dar por buenos los 
datos a procesar por la lA, sin 
someterlos a escrutinio crítico, es un 
sueño de la razón que produce 


monstruos sin cesar. 


Las series de datos policiales, por 
ejemplo, responden a bases de 
información que han sido construidas, 
en muchos casos, con datos parciales, 
con prácticas legales que después 
dejaron de serlo, o con métodos 
desde entonces ilegales, en contextos 


comunes de racismo policial. 


El racismo es una herencia estructural, 
social y cultural que a la vez se 
reconstruye. El racismo es 
reinterpretado, evoluciona y se 
reproduce. No basta con un criterio de 
justicia como *no discriminación”, al 
procesar los datos, que mantenga 
anónimos los nombres implicados, e 
invisibilice los datos raciales, que 
entienda la justicia al modo de “tratar 


a todos como iguales”. 


Un caso conocido en Estados Unidos, 
mostró la incapacidad de ese criterio 
para producir resultados justos: un 
sistema de lA, para conceder 


préstamos bancarios, omitió nombres 
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y cualquier dato que pudiese remitir al 
color de la piel. Sin embargo, el 
resultado produjo resultados 
marcadamente racistas. 


La investigación arrojó que la petición 
del código postal de su vivienda a 
cada sujeto involucrado en la 
investigación reintrodujo el racismo, 
aunque se hubiese pretendido 
expulsar la marca de la raza de los 
datos colectados. El código postal de 
zonas identificadas con mayorías de 
población afroamericana fue 
desfavorecido en comparación con los 
vecindarios cuyo código postal era 
identificada por el algoritmo como 
mayormente blancos. 


El presente es su historia: lo que se 
saca por la puerta, regresa por la 
ventana. La superación de la historia 
requiere hacerla visible, no lo 


contrario. 


Petición a la lA: retrato realista de los 
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héroes cubanos de la independencia 
de 1868 y 1895, que incluya a Carlos 
Manuel de Céspedes, José Martí, 
Antonio Maceo y Guillermón Moncada. 


El solucionismo 
tecnológico no es la 
solución 


Las soluciones ofrecidas por máquinas 
tienen aureola de neutralidad 
ideológica, eficiencia tecnológica y 
cifran las nuevas capacidades para 
enfrentar antiguos problemas. La lA se 
presenta como gestión tecnológica de 
la organización de asuntos comunes. 
Es fácil enmarcarla dentro de la 
ideología no partidista del 


“solucionismo tecnológico”. 


Sin embargo, para Cathy O'Neil, 
matemática y activista 
estadounidense, los algoritmos 
resultan “opiniones encerradas en 
matemáticas”. Sin comprometerse con 
estadísticas conscientes de la noción 
de “raza”, sin hacer que los datos 
tomen en cuenta las diferencias 
socioeconómicas de grupos 
poblacionales frente a otros grupos, 
sin garantizar participación, control y 
transparencia en la recolección y uso 


de datos, el algoritmo pierde mucho 
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de su fascinación tecnológica, y 
revela, bastante primitivamente, la 
naturaleza política del contexto en que 


funciona. 


La “raza” no existe, pero existe el 
racismo. La lA no es racista per se, 
pero produce resultados racistas. Sin 
hacerse cargo de la historia, el 
algoritmo es una opinión que codifica 
la exclusión y programa la 
discriminación dominantes en la 


historia inscrita en sus datos. 


Portada: Petición a la IA. Retrato 
realista de los héroes cubanos de la 
independencia de 1868 y 1895, que 
incluya a Carlos Manuel de Céspedes, 
José Martí, Antonio Maceo y 
Guillermón Moncada. 


Tomado de Oncuboa. 
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